Probabilistic modeling and inference for sequential space-varying blur identification

International audienceThe identification of parameters of spatially variant blurs given a clean image and its blurry noisy version is a challenging inverse problem of interest in many application fields, such as biological microscopy and astronomical imaging. In this paper, we consider a parametric model of the blur and introduce an 1D state-space model to describe the statistical dependence among the neighboring kernels. We apply a Bayesian approach to estimate the posterior distribution of the kernel parameters given the available data. Since this posterior is intractable for most realistic models, we propose to approximate it through a sequential Monte Carlo approach by processing all data in a sequential and efficient manner. Additionally, we propose a new sampling method to alleviate the particle degeneracy problem, which is present in approximate Bayesian filtering, particularly in challenging concentrated posterior distributions. The considered method allows us to process sequentially image patches at a reasonable computational and memory costs. Moreover, the probabilistic approach we adopt in this paper provides uncertainty quantification which is useful for image restoration. The practical experimental results illustrate the improved estimation performance of our novel approach, demonstrating also the benefits of exploiting the spatial structure the parametric blurs in the considered models

The early adoption of East Asian crops in West Asia: rice and broomcorn millet in northern Iran

Following their early domestication, broomcorn millet and rice (in East Asia) and wheat and barley (in South-west Asia) were subsequently adopted across Eurasia during the Bronze Age/early historic period. The precise timing and dispersal routes for this trans-Eurasian exchange, however, remain unclear. Here, the authors present archaeobotanical evidence from sites on the Caspian Sea's southern coast, demonstrating that broomcorn millet reached West Asia by c. 2050 BC and rice by c. 120 BC. These dispersals relate to two waves of globalisation and were based on two different mechanisms: an ‘infiltration’ model (broomcorn millet) and a ‘leapfrog’ model (rice). The results contribute to our understanding of the continental-scale connectivity of the late prehistoric/early historic periods

Inférence bayésienne pour la restauration d'images en grande dimension

La déconvolution d'image est un problème essentiel de restauration d'image qui se pose dans plusieurs domaines allant de l'astronomie à la médecine. Cela consiste à restituer une image à partir d'une version dégradée, floue et bruitée de celle-ci. La déconvolution d'image dans un cadre bayésien s'intéresse à rechercher la distribution postérieure de l'image (et du flou, lorsqu'il est inconnu) étant donné un modèle d'observation et des connaissances préalables sur les inconnues. La forme explicite de la distribution postérieure peut rarement être calculée analytiquement, de sorte que des outils d'approximation bayésienne sont déployés pour en obtenir une estimation. Cette thèse apporte de nouvelles contributions dans ce domaine, en introduisant de nouvelles méthodes bayésiennes pour aborder deux scénarios importants de déconvolution d'image. Tout d'abord, nous nous intéressons au problème d'identification du flou, consistant à estimer des noyaux de flou variant spatialement étant donné une image originale et sa version dégradée. Nous construisons un modèle d'espace d'état probabiliste tenant compte de la régularité entre les noyaux de flou voisins et proposons un nouvel algorithme basé sur le filtrage de particules bootstrap pour échantillonner des particules pondérées, et ainsi construire la distribution postérieure recherchée. Des expériences numériques sur divers exemples de flou spatialement variants illustrent les avantages et la stabilité de notre approche. Ensuite, nous nous concentrons sur le problème de déconvolution aveugle d'image, consistant à estimer conjointement l'image et le noyau de convolution à partir d'une image bruitée et floue. Nous adoptons une approche bayésienne variationnelle, pour construire une approximation appropriée de la distribution postérieure. Nous introduisons des étapes de majoration pour permettre des mises à jour explicites des variables même pour des a prioris non conjugués et un bruit non gaussien. Cela donne l'algorithme bayésien variationnel. Nous proposons ensuite de dérouler cet algorithme sur des couches de réseaux de neurones, en suivant le paradigme de déroulement profond récemment introduit dans la littérature. L'algorithme obtenue bénéficie d'un nombre réduit de paramètres à régler, d'une exécution rapide sur carte GPU et fournit des meilleurs résultats de restauration. La supériorité du la méthode est illustrée sur trois jeux de données impliquant des images naturelles en couleur ou niveaux de gris et diverses formes de flousImage deblurring is an essential image restoration problem arising in several fields from astronomy to medical science. It amounts to restoring an image from a degraded, blurry and noisy, version of it. Bayesian image deblurring seeks for the posterior distribution of the image (and blur kernel, when unknown) given an observation model and some prior knowledge on the unknowns. Closed form for the posterior distribution can rarely be computed analytically, so Bayesian approximation tools are deployed to derive an estimation of it. This thesis brings novel contributions in that topic, by introducing novel Bayesian methods for tackling two important scenarios of image deblurring problems. First, we are interested in the so-called blur identification problem, of estimating spatially varying blur kernels given a clean image and its degraded version. We construct a probabilistic state-space model accounting for the smoothness among the neighboring blur kernels, and propose a novel algorithm based on bootstrap PF (BPF) to sample weighted particles, and thus construct the sought posterior distribution. Numerical experiments on various spatially-variant blur maps and images illustrate the benefits and good stability of our approach. Second, we focus on the blind image deblurring problem of jointly estimating the image and blur kernel given the blurry noisy image. We adopt the variational Bayesian approach, to build an appropriate approximation of the posterior distribution. We introduce majorization steps to maintain closed form updates even for non conjugate priors and non-Gaussian noise. This yields the variational Bayesian algorithm (VBA). We then propose to unfold VBA over neural network layers, following the recently introduced deep unrolling paradigm. This yields the unfolded VBA, benefiting from reduced parameter tuning, fast computations on GPU architecture, and improved quantitative restoration results. The superiority of unfolded VBA over state-of-the-art blind deblurring techniques is illustrated on three datasets involving color/grayscale natural images and various blur shape

Inférence bayésienne pour la restauration d'images en grande dimension

Image deblurring is an essential image restoration problem arising in several fields from astronomy to medical science. It amounts to restoring an image from a degraded, blurry and noisy, version of it. Bayesian image deblurring seeks for the posterior distribution of the image (and blur kernel, when unknown) given an observation model and some prior knowledge on the unknowns. Closed form for the posterior distribution can rarely be computed analytically, so Bayesian approximation tools are deployed to derive an estimation of it. This thesis brings novel contributions in that topic, by introducing novel Bayesian methods for tackling two important scenarios of image deblurring problems. First, we are interested in the so-called blur identification problem, of estimating spatially varying blur kernels given a clean image and its degraded version. We construct a probabilistic state-space model accounting for the smoothness among the neighboring blur kernels, and propose a novel algorithm based on bootstrap PF (BPF) to sample weighted particles, and thus construct the sought posterior distribution. Numerical experiments on various spatially-variant blur maps and images illustrate the benefits and good stability of our approach. Second, we focus on the blind image deblurring problem of jointly estimating the image and blur kernel given the blurry noisy image. We adopt the variational Bayesian approach, to build an appropriate approximation of the posterior distribution. We introduce majorization steps to maintain closed form updates even for non conjugate priors and non-Gaussian noise. This yields the variational Bayesian algorithm (VBA). We then propose to unfold VBA over neural network layers, following the recently introduced deep unrolling paradigm. This yields the unfolded VBA, benefiting from reduced parameter tuning, fast computations on GPU architecture, and improved quantitative restoration results. The superiority of unfolded VBA over state-of-the-art blind deblurring techniques is illustrated on three datasets involving color/grayscale natural images and various blur shapesLa déconvolution d'image est un problème essentiel de restauration d'image qui se pose dans plusieurs domaines allant de l'astronomie à la médecine. Cela consiste à restituer une image à partir d'une version dégradée, floue et bruitée de celle-ci. La déconvolution d'image dans un cadre bayésien s'intéresse à rechercher la distribution postérieure de l'image (et du flou, lorsqu'il est inconnu) étant donné un modèle d'observation et des connaissances préalables sur les inconnues. La forme explicite de la distribution postérieure peut rarement être calculée analytiquement, de sorte que des outils d'approximation bayésienne sont déployés pour en obtenir une estimation. Cette thèse apporte de nouvelles contributions dans ce domaine, en introduisant de nouvelles méthodes bayésiennes pour aborder deux scénarios importants de déconvolution d'image. Tout d'abord, nous nous intéressons au problème d'identification du flou, consistant à estimer des noyaux de flou variant spatialement étant donné une image originale et sa version dégradée. Nous construisons un modèle d'espace d'état probabiliste tenant compte de la régularité entre les noyaux de flou voisins et proposons un nouvel algorithme basé sur le filtrage de particules bootstrap pour échantillonner des particules pondérées, et ainsi construire la distribution postérieure recherchée. Des expériences numériques sur divers exemples de flou spatialement variants illustrent les avantages et la stabilité de notre approche. Ensuite, nous nous concentrons sur le problème de déconvolution aveugle d'image, consistant à estimer conjointement l'image et le noyau de convolution à partir d'une image bruitée et floue. Nous adoptons une approche bayésienne variationnelle, pour construire une approximation appropriée de la distribution postérieure. Nous introduisons des étapes de majoration pour permettre des mises à jour explicites des variables même pour des a prioris non conjugués et un bruit non gaussien. Cela donne l'algorithme bayésien variationnel. Nous proposons ensuite de dérouler cet algorithme sur des couches de réseaux de neurones, en suivant le paradigme de déroulement profond récemment introduit dans la littérature. L'algorithme obtenue bénéficie d'un nombre réduit de paramètres à régler, d'une exécution rapide sur carte GPU et fournit des meilleurs résultats de restauration. La supériorité du la méthode est illustrée sur trois jeux de données impliquant des images naturelles en couleur ou niveaux de gris et diverses formes de flou

Inférence bayésienne pour la restauration d'images en grande dimension

Image deblurring is an essential image restoration problem arising in several fields from astronomy to medical science. It amounts to restoring an image from a degraded, blurry and noisy, version of it. Bayesian image deblurring seeks for the posterior distribution of the image (and blur kernel, when unknown) given an observation model and some prior knowledge on the unknowns. Closed form for the posterior distribution can rarely be computed analytically, so Bayesian approximation tools are deployed to derive an estimation of it. This thesis brings novel contributions in that topic, by introducing novel Bayesian methods for tackling two important scenarios of image deblurring problems. First, we are interested in the so-called blur identification problem, of estimating spatially varying blur kernels given a clean image and its degraded version. We construct a probabilistic state-space model accounting for the smoothness among the neighboring blur kernels, and propose a novel algorithm based on bootstrap PF (BPF) to sample weighted particles, and thus construct the sought posterior distribution. Numerical experiments on various spatially-variant blur maps and images illustrate the benefits and good stability of our approach. Second, we focus on the blind image deblurring problem of jointly estimating the image and blur kernel given the blurry noisy image. We adopt the variational Bayesian approach, to build an appropriate approximation of the posterior distribution. We introduce majorization steps to maintain closed form updates even for non conjugate priors and non-Gaussian noise. This yields the variational Bayesian algorithm (VBA). We then propose to unfold VBA over neural network layers, following the recently introduced deep unrolling paradigm. This yields the unfolded VBA, benefiting from reduced parameter tuning, fast computations on GPU architecture, and improved quantitative restoration results. The superiority of unfolded VBA over state-of-the-art blind deblurring techniques is illustrated on three datasets involving color/grayscale natural images and various blur shapesLa déconvolution d'image est un problème essentiel de restauration d'image qui se pose dans plusieurs domaines allant de l'astronomie à la médecine. Cela consiste à restituer une image à partir d'une version dégradée, floue et bruitée de celle-ci. La déconvolution d'image dans un cadre bayésien s'intéresse à rechercher la distribution postérieure de l'image (et du flou, lorsqu'il est inconnu) étant donné un modèle d'observation et des connaissances préalables sur les inconnues. La forme explicite de la distribution postérieure peut rarement être calculée analytiquement, de sorte que des outils d'approximation bayésienne sont déployés pour en obtenir une estimation. Cette thèse apporte de nouvelles contributions dans ce domaine, en introduisant de nouvelles méthodes bayésiennes pour aborder deux scénarios importants de déconvolution d'image. Tout d'abord, nous nous intéressons au problème d'identification du flou, consistant à estimer des noyaux de flou variant spatialement étant donné une image originale et sa version dégradée. Nous construisons un modèle d'espace d'état probabiliste tenant compte de la régularité entre les noyaux de flou voisins et proposons un nouvel algorithme basé sur le filtrage de particules bootstrap pour échantillonner des particules pondérées, et ainsi construire la distribution postérieure recherchée. Des expériences numériques sur divers exemples de flou spatialement variants illustrent les avantages et la stabilité de notre approche. Ensuite, nous nous concentrons sur le problème de déconvolution aveugle d'image, consistant à estimer conjointement l'image et le noyau de convolution à partir d'une image bruitée et floue. Nous adoptons une approche bayésienne variationnelle, pour construire une approximation appropriée de la distribution postérieure. Nous introduisons des étapes de majoration pour permettre des mises à jour explicites des variables même pour des a prioris non conjugués et un bruit non gaussien. Cela donne l'algorithme bayésien variationnel. Nous proposons ensuite de dérouler cet algorithme sur des couches de réseaux de neurones, en suivant le paradigme de déroulement profond récemment introduit dans la littérature. L'algorithme obtenue bénéficie d'un nombre réduit de paramètres à régler, d'une exécution rapide sur carte GPU et fournit des meilleurs résultats de restauration. La supériorité du la méthode est illustrée sur trois jeux de données impliquant des images naturelles en couleur ou niveaux de gris et diverses formes de flou

Unrolled Variational Bayesian Algorithm for Image Blind Deconvolution

International audienceIn this paper, we introduce a variational Bayesian algorithm (VBA) for image blind deconvolution. Our VBA generic framework incorporates smoothness priors on the unknown blur/image and possible affine constraints (e.g., sum to one) on the blur kernel, integrating the VBA within a neural network paradigm following an unrolling methodology. The proposed architecture is trained in a supervised fashion, which allows us to optimally set two key hyperparameters of the VBA model and leads to further improvements in terms of resulting visual quality. Various experiments involving grayscale/color images and diverse kernel shapes, are performed. The numerical examples illustrate the high performance of our approach when compared to stateof-the-art techniques based on optimization, Bayesian estimation, or deep learning

Particle Filtering for Online Space-Varying Blur Identification

International audienceThe identification of parameters of spatially variant blurs given a clean image and its blurry noisy version is a challenging inverse problem of interest in many application fields, such as biological microscopy and astronomical imaging. In this paper, we consider a parametric form for the blur and introduce a state-space model that describes the statistical dependence among the neighboring kernels. Our Bayesian approach aims at estimating the posterior distributions of the kernel parameters given the available data. Since those posteriors are not tractable due to the nonlinearities of the model, we propose a sequential Monte Carlo approach to approximate the distributions by processing the data in an online manner. This allows to consider numerous overlapped patches and large scale images at reasonable computational and memory costs. Moreover, it provides a measure of uncertainty due to the Bayesian framework. Practical experimental results illustrate the good performance of our novel approach, emphasizing the benefit to exploit the spatial structure for an improved estimation quality

Unrolled Variational Bayesian Algorithm for Image Blind Deconvolution

International audienceIn this paper, we introduce a variational Bayesian algorithm (VBA) for image blind deconvolution. Our VBA generic framework incorporates smoothness priors on the unknown blur/image and possible affine constraints (e.g., sum to one) on the blur kernel, integrating the VBA within a neural network paradigm following an unrolling methodology. The proposed architecture is trained in a supervised fashion, which allows us to optimally set two key hyperparameters of the VBA model and leads to further improvements in terms of resulting visual quality. Various experiments involving grayscale/color images and diverse kernel shapes, are performed. The numerical examples illustrate the high performance of our approach when compared to stateof-the-art techniques based on optimization, Bayesian estimation, or deep learning

Local environment and social factors in primary school children's afterschool commute in China

The rapid decline in young children's active commutes to and from school has prompted investigations into ways to raise activity levels. The period after school is recognized as very important in the daily activity regime of primary school children. In this study, we examine the relative effects of local environmental factors and socio-economic status on children's after-school commute mode choice. Environmental factors are pedestrian priority streets, street intersection density, motorways, shops, and play spaces. Property values are used as a proxy for income. Twenty-four school districts are selected using intersection density and motorway length as criteria. All children's exit behaviors were film-recorded on October weekdays and extracted as four choices–alone, in a group of children, on foot with a parent or guardian, on e-bike driven by an adult. A multinomial logistic regression reveals that gated communities, higher priced housing, motorways and bus stops are associated with children accompanied by adults. The presence of pedestrian streets is associated with children travelling alone and in groups. Greater travel distance is also associated with parents accompanying children on foot or on e-bike. The amount of play space is associated with children leaving school in groups. Overall, social and environmental factors are influential in the independent travel of primary school children after the school day ends in south China